2024年6月にリリースされたSnowflakeの新機能・変更点のまとめ #SnowflakeDB
2024.07.032024年6月にリリースされたSnowflakeの新機能・変更点のまとめ記事になります。
※注意事項：本記事ではすべての情報についての記述はせず、特筆すべきだと感じた情報だけピックしております。基本的には以下の情報を参考にしておりますので、全ての最新情報を確認したい場合は下記のURLからご確認ください。
June 28, 2024 — New geospatial H3 functions — General Availability
新しい H3 関数 が一般提供となりました。
H3 は Uber が開発した地理空間データを効率的に管理および分析するためのオープンソースライブラリです。H3 では地球の表面を六角形のグリッドに分割し、それぞれの六角形セルに一意のインデックスを割り当てることで、地理空間情報の格納、検索、および解析を簡素化します。
Snowflake と H3 については以下で紹介されていますので、あわせてご参照ください。
June 28, 2024 — Custom UI in Streamlit in Snowflake –— Preview
Streamlit in Snowflake でカスタム UI が使用できるようになりました。これにより、カスタム HTML と CSS を使用したアプリを作成できるようになります。詳細は以下をご参照ください。
Additional Streamlit in Snowflake features
June 27, 2024 — Document AI release notes
Snowflake における Document AI では、Snowsight で Document AI model build を作成および管理します。作成した model build を使用しステージ内のドキュメントから必要な情報を抽出できます。
ドキュメントの処理には <model_build_name>!PREDICT を使用しますが、この際に処理できるドキュメント数が、これまでの最大20件から1000件に増加しました。
その他の制約については以下に記載があります。
Document AI については以下の記事でも紹介されていますので、ぜひご覧ください。
June 26, 2024 — Cost Management Release Notes
組織レベルのコストの概要把握のために使用できる組織の概要ページが一般提供となりました。
このページでは、Snowflake の使用コストに関する以下のような情報を確認できます。
- 現在の契約に関する詳細
- 契約の残額
- 契約開始以降の Snowflake 使用の累積コスト
- 組織の毎月の支出
- 組織内の各アカウントの消費の概要
注意点として、組織概要ページを利用するにはオンデマンドではなく Capacity 契約が必要です。
June 25, 2024 — New TO_QUERY table function
文字列を SQL スクリプトとして実行させることができる TO_QUERY テーブル関数が使用できるようになりました。
クエリ内の一部をパラメータ化し、このテーブル関数を含むストアドプロシージャを定義するも可能です。
詳細は以下をご参照ください。
June 24, 2024: Time Travel for hybrid tables –— Preview
Hybrid Table に対する Time Travel サポートがパブリックプレビューとなりました。
これにより、Hybrid Table に対しても履歴データをクエリできるようになります。
その他の制約は以下に記載があります。
Preview — 8.24 Release Notes
Trust Center: CIS Benchmarks scanner package — General availability
Snowflake Trust Center 内で使用可能なスキャナーパッケージである CIS Benchmarks scanner package が一般提供となりました。
このベンチマークでは、大きくわけて以下の４つの観点からならる全39の推奨項目が提供されています。
- Identity and Access Management
- Monitoring and Alerting
- Networking
- Data Protection
Preview — 8.23 Release Notes
Trust Center: Security Essentials scanner package — General availability
Snowflake アカウントのセキュリティリスクを評価、監視できる機能である Trust Center が一般提供となりました。
こちらの機能については、以下にまとめられていますので、ぜひご覧ください。
Window functions: extended support for RANGE BETWEEN — Preview
以下のウィンドウ関数で、明示的なオフセット (n PRECEDING と n FOLLOWING) を持つ RANGE BETWEEN ウィンドウフレームのサポートがプレビューとなりました。
- COUNT
- SUM
- MIN
- MAX
- AVG
詳細は以下をご覧ください。
Data quality: add new system DMFs — Preview
システム定義の Data metric functions（DMF）として以下が追加されました。
- SNOWFLAKE.CORE.AVG
- 単一列の平均値を計算するように最適化されており、AVG 関数を呼び出す場合と比較して、優れたパフォーマンスを提供するとのことです
- SNOWFLAKE.CORE.BLANK_COUNT
- テーブル内の指定された列の空白の列値の数を返します
- SNOWFLAKE.CORE.BLANK_PERCENT
- テーブル内の指定された列の空白の列値の割合を返します
- SNOWFLAKE.CORE.MAX
- 単一列の最大値を計算するように最適化されており、MAX 関数を呼び出す場合と比較して、優れたパフォーマンスを提供するとのことです
- SNOWFLAKE.CORE.MIN
- 単一列の最小値を計算するように最適化されており、MIN 関数を呼び出す場合と比較して、優れたパフォーマンスを提供するとのことです
- SNOWFLAKE.CORE.NULL_PERCENT
- テーブル内の指定された列の NULL である列値の割合を返します
- SNOWFLAKE.CORE.STDDEV
- 単一列の標準偏差を計算するように最適化されており、STDDEV、STDDEV_SAMP 関数を呼び出す場合と比較して、優れたパフォーマンスを提供するとのことです
システム定義の DMF は以下に一覧が記載されています。
June 17, 2024 — New LLM helper functions - TRY_COMPLETE and COUNT_TOKENS
以下の Snowflake Cortex LLM ベース関数が追加されました。
- COUNT_TOKENS
- 入力テキストを指定すると、指定されたモデルまたは Cortex 関数に基づいてトークン数を返します
- TRY_COMPLETE
- COMPLETE 関数と同じように動作しますが、関数が実行できなかった場合にエラー コードではなく NULL を返します
この関数を活用することで、入力トークン数がモデルの制限を超えた場合に、クエリが失敗するケースに対応できます。
Jun 11, 2024 — Sharing data in non-secure views –— Preview
非セキュアビューのデータ共有がパブリックプレビューとなりました。
これまでビューを共有する際、共有オブジェクトにはセキュアビューへのアクセスを許可する必要がありました。セキュアビューは、非セキュアビューよりも実行速度が遅くなる可能性があるため、パフォーマンス最適化を優先する場合にこのオプションを利用できるようになります。
詳細は以下をご参照ください。
June 11, 2024 — Snowflake Data Clean Rooms Release Notes
Additional supported regions — General Availability
このリリースにより、現在 Snowflake がサポートしているすべての商用リージョンで Snowflake Data Clean Rooms が利用可能となりました。
June 10-15, 2024 — 8.22 Release Notes (with behavior changes)
Account Usage: WAREHOUSE_EVENTS_HISTORY view — General availability
これまではプレビューとして提供されていた WAREHOUSE_EVENTS_HISTORY ビューが一般提供となりました。
このビューでは、ウェアハウスの状態変更として以下の記録を提供します。
- ウェアハウスの作成、削除、または変更（ウェアハウスのサイズ変更を含む）
- ウェアハウスの再開または中断
- 単一クラスターおよびマルチクラスターウェアハウスにおける、ウェアハウスクラスターの再開、中断、またはサイズ変更
- ウェアハウスで追加のクラスターの停止または開始（マルチクラスターウェアハウスのみ）
June 10, 2024 — Iceberg tables — General Availability
Iceberg table が一般提供となりました。
Iceberg table については、以下をご参照ください。
June 03-06, 2024 — Summit announcements
現地時間 2024年6月3日～6日に、Snowflake の年次最大のイベントである「Data Cloud Summit 2024」が開催されました。
これに伴いリリースノートが公開されています。本リリースノートについては、以下にまとめられておりますので、ぜひご覧ください。
June 03, 2024 — New EMBED_TEXT_1024 function for 1024 dimensional output vectors
Snowflake Cortex LLM ベース関数で使用できるベクトル埋め込み関数として、これまで提供されていた EMBED_TEXT_768 に加えて EMBED_TEXT_768 EMBED_TEXT_1024 が使用できるようになりました。これにより検索における精度の向上が期待できます。
注意点として、この関数は現在以下のリージョンでのみ使用可能です。
- AWS US West 2 (Oregon)
LLM ベース関数の使用可能なリージョンについては、以下をご参照ください。
June 3, 2024 — Entity-Level Privacy Release Notes
集計ポリシー使用できるエンティティレベルのプライバシー機能であるする ENTITY KEY の指定が一般提供となりました。
Implementing entity-level privacy with aggregation policies | Snowflake Documentation
これにより、集計グループに含まれるレコード数だけでなく、ENTITY KEYとして指定したキーについてMIN_GROUP_SIZE以上の種類数含まれるように制限することが可能となります。
集計ポリシーと ENTITY KEY についての詳細は、以下をご参照ください。
Behavior Change Log
2024_05 バンドルが提供開始 ※デフォルトは無効化
8.22（2024/6/11 - 2024/6/15 リリース）で、2024_05 バンドルが提供開始となりました。先に挙動を確かめたい場合には手動でバンドルを有効化してテスト可能です。
このバンドルは、2024年7月のリリースでデフォルトで有効化される予定となっています。
2024_04 バンドルがデフォルトで有効化
8.22（2024/6/11 - 2024/6/15 リリース）で、2024_04 バンドルがデフォルトで有効化されました。このバンドルは、2024年7月のリリースで一般的に有効化される予定となっています。
2024_03 バンドルが一般的に有効化
8.22（2024/6/11 - 2024/6/15 リリース）で、2024_03 バンドルが一般的に有効化されました。
おまけ：Modern Data Stack全般の最新情報
Snowflakeも含め、Modern Data Stack 全般の最新情報についても、定期的にブログにまとめて投稿されております！こちらもぜひご覧ください。
![[新機能]dbtのdata testで任意の設定をconfigで指定できるようになり、各data testでSnowflakeのウェアハウスを指定できるようになりました](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-f846b6052d1f7b983172226c6b1ed44b/6b4729aabfb5b7a3359acc27dc6b5453/dbt-1200x630-1.jpg)
